Joint Training of Multi-Token Prediction in Reinforcement Learning via Optimal Coefficient Calibration
基于最优系数校准的强化学习联合多Token预测
🧭 训练优化·多Token预测联合RL ★ 深度解读
中国科学院大学 · 中国科学院自动化研究所 · 美团
提出在线自适应系数调整方法OCC，通过log概率代理动态平衡RL与MTP梯度，使联合训练稳定超越detach基线
📌 工作参考价值（4 点）
- 辅助损失动态加权：在推荐模型联合训练主任务（如CTR）与辅助任务（如多样性、长尾覆盖）时，可借鉴OCC的廉价梯度对齐代理，在线校准辅助任务系数，避免固定权重导致的后期性能退化。
- 多步奖励预测的RL优化：在强化学习推荐或Agent策略优化中，若使用多步奖励预测头（类似MTP），可利用OCC思想根据梯度方向一致性自适应调节多步预测损失的权重，防止后期扰动损害主策略。
- 多目标策略梯度平衡：对于多Agent协作或联合策略学习，不同智能体的梯度可能存在冲突，可通过一阶相关与二阶扰动的分解分析有益与有害信号，动态分配更新强度，替代常规的固定比例调度。
- 轻量级实现：OCC仅需计算小批量内的log概率变化向量内积，无需全模型梯度，计算开销可忽略，易于在分布式训练框架中实现。